MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA
多粒度自适应图证据的智能体多模态RAG
🧭 多模态长文档RAG · 图证据与智能体控制
Beijing Institute of Technology
基于证据图与在线预算控制的多粒度多模态RAG,在长文档QA中动态平衡证据覆盖与噪声
📌 工作参考价值(4 点)
- 多粒度证据图构建:将文档拆解为页面与元素节点,编码布局、阅读顺序、章节层级等结构关系,可迁移到商品详情页的复杂多模态信息检索,例如将商品主图、详情图、参数表、评论链接为图,提升问答或推荐理由生成时的证据定位
- 在线证据控制器与预算机制:按预算迭代激活、搜索、剪枝证据,避免固定Top-k导致的噪声或遗漏。电商场景中可将此法用于动态组装推荐解释/导购上下文的证据片段,在有限令牌内提升说服力
- 多模态证据渲染为结构化输入:将文字、表格、图片等证据统一格式化后馈入大视觉语言模型,启发电商推理时可把商品图文、参数、问答截图等异构信息规范渲染,增强模型理解一致性
- 证据覆盖与噪声的显式权衡:通过预算-性能曲线分析最佳工作点,推荐系统面对长商品详情、长用户评论时,可借此思路为LLM推理设定预算、平衡信息量与推理成本